VGGT-$Ω$
VGGT-Ω：可扩展的前馈三维重建模型
🧭 可扩展多视角重建与空间理解
Meta
通过架构精简、寄存器注意力与大规模自监督训练，前馈重建模型在精度与效率上大幅超越先前工作
📌 工作参考价值（4 点）
- 寄存器注意力可用于多模态特征压缩：将场景信息压缩到少量寄存器 token，仅在这些寄存器间做全局交互，类似操作可迁移到电商多模态商品表示中，用少量可学习 token 对图文特征进行汇聚与交叉注意力，降低计算量。
- 自监督从视频中学习通用表示：利用海量无标注视频，通过重建代理任务预训练模型，该思路可直接用于用户行为序列建模——将行为序列视为时间帧，通过预测下一行为或重建序列结构获得更强序列表示。
- 单头多任务密集预测：用一个密集预测头同时监督深度、相机参数等多个任务，这种多目标共享表示的设计可借鉴到推荐模型的多目标学习中，减少参数冗余并提升泛化。
- 重建是空间理解的强代理任务：学习到的寄存器可直接改善视觉-语言-动作模型，表明三维重建能训练出对视觉-语言对齐有益的空间特征，电商视觉搜索或布局生成任务中可尝试引入重建预训练来增强空间敏感度。